Er zijn 30 teksten geanalyseerd met een LLM, om erachter te komen welke verschillende onderwerpen in de teksten worden genoemd en hoe vaak.
Hierbij is een topic modelling-procedure is toegepast op basis van Wanrooij, Manhar, en Yang (2024) en Pham et al. (2023). Deze procedure bestaat uit 3 stappen:
Bij stap 1 worden de teksten aan het LLM gepresenteerd in willekeurig getrokken groepen van maximaal 5 teksten, met de vraag om te reageren met mogelijke onderwerpen die niet te specifiek en niet te algemeen zijn. Dit vorm de lijst van mogelijke onderwerpen. Voor deze stap is het model gpt-4.1-mini-2025-04-14 gebruikt.
Bij stap 2 wordt de lijst van mogelijke onderwerpen gepresenteerd aan het LLM, waarbij gevraagd wordt de lijst onderwerpen terug te brengen naar een lijst onderwerpen zonder dubbelingen en ook weer zonder te specifieke of te algemene onderwerpen. Dit vormt de lijst van definitieve onderwerpen. Voor deze stap is het model o3-2025-04-16 gebruikt.
Bij stap 3 wordt elke tekst individueel gepresenteerd aan het LLM, samen met de lijst van definitieve onderwerpen, met de vraag om deze toe te wijzen aan de tekst. Het LLM moest één onderwerp toewijzen per tekst. Voor deze stap is het model gpt-4.1-mini-2025-04-14 gebruikt.
Met de teksten waaraan onderwerpen zijn toegevoegd, heeft een taalmodel (gpt-4.1-mini-2025-04-14) tenslotte een rapport geschreven. Per onderwerp is met quotes samengevat wat er is gezegd.
Voor de toewijzing bij stap 3 is de interbeoordelaarsbetrouwbaarheid tussen het taalmodel en een menselijke beoordelaar berekend. Hiervoor is een willekeurige steekproef genomen van 10 teksten. De berekende interbeoordelaarsbetrouwbaarheid is 1 (Kappa; z = 7.379, p = 0). Dit valt te interpreteren als een perfecte overeenstemming tussen het taalmodel en de menselijke beoordelaar (Landis & Koch, 1977).
Onderstaande tabel toont welke onderwerpen zijn geïdentificeerd en hoe vaak deze zijn genoemd in de teksten.
Onderstaande tabel toont per tekst welk onderwerp deze heeft gekregen.
Onderstaande paragrafen zijn de samenvattingen van de teksten per onderwerp.
De verzamelde teksten benadrukken verschillende positieve aspecten van de duurzaamheid en betrouwbaarheid van het product. Zo wordt gesteld dat "this product is very durable", wat wijst op een algemene stevigheid. Daarnaast benadrukt een andere tekst dat "You just cant break this product", wat de robuustheid onderstreept. De langdurige werking van het product wordt ook genoemd: "it's been working perfectly for over a year now", wat duidt op consistente betrouwbaarheid over tijd. Tot slot geeft de ervaring van schade maar toch functionerend blijven aan dat het product bestand is tegen stoten, zoals in "dropped it several times and it still works". Samen illustreren deze uitspraken een positief beeld van de duurzaamheid en betrouwbaarheid vanuit verschillende invalshoeken.
De teksten benadrukken negatieve ervaringen met betrekking tot de duurzaamheid en betrouwbaarheid van het product. Eén gebruiker meldt dat het product "broke the same day I bought it," wat wijst op een onmiddellijke defectheid. Een andere gebruiker geeft aan dat het product "baldly used it and it already stopped working," wat suggereert dat het product snel zonder intensief gebruik defect raakte. Beide perspectieven wijzen op problemen met de kwaliteit en levensduur van het product.
De teksten benadrukken verschillende positieve aspecten van de gebruiksvriendelijkheid en instructies van het product. Eén perspectief benadrukt dat het product eenvoudig in gebruik is, zoals blijkt uit de opmerking "this product is very easy to use." Daarnaast wordt genoemd dat de instructies duidelijk zijn, wat wordt geïllustreerd met de uitspraak "the instructions were super clear." Ten slotte komt naar voren dat sommige gebruikers het product intuïtief kunnen gebruiken, zonder de handleiding te hoeven raadplegen, zoals aangegeven in "i figured it out without even reading the manual." Deze perspectieven onderstrepen samen een positieve ervaring met zowel het ontwerp als de begeleiding bij het gebruik van het product.
De verschillende perspectieven in de teksten benadrukken vooral de moeilijkheden die gebruikers ervaren met de bruikbaarheid en de instructies van het product. Zo wordt gesteld dat "het onmogelijk is om te begrijpen hoe dit product werkt," wat wijst op een fundamenteel gebrek aan duidelijke uitleg. Daarnaast wordt de gebruikservaring als verwarrend omschreven: "dit product is zo verwarrend!!" Dit impliceert dat de interface of het ontwerp geen intuïtieve navigatie biedt. Ook wordt aangegeven dat zelfs mensen met technische kennis problemen ondervinden, zoals in de opmerking "zelfs tech-savvy mensen zouden hier moeite mee hebben." Samen geven deze perspectieven aan dat het product tekortschiet in duidelijke en toegankelijke instructies, wat de bruikbaarheid negatief beïnvloedt.
De verzamelde teksten geven een positieve waardering weer ten aanzien van de prijs van het product. Zo wordt het product als betaalbaar ervaren, zoals blijkt uit de uitspraak "this product is cheap". Daarnaast wordt de prijs-kwaliteitverhouding als bijzonder gunstig beoordeeld, wat duidelijk wordt in de tekst "incredible value for money!". Ten slotte wordt benadrukt dat de aankoop, mede door een aanbieding, als de moeite waard wordt beschouwd: "i got it on sale and it was totally worth it". Samen geven deze perspectieven aan dat de prijs van het product als aantrekkelijk en voordelig wordt gezien door de gebruikers.
De teksten uiten een negatieve waardering ten opzichte van de prijs van het product. Eén perspectief benadrukt dat het product financieel onbereikbaar is, zoals blijkt uit de uitspraak: "i couldnt afford this after 100 years of working." Daarnaast wordt het product als "way too expensive for what it offers" beschouwd, wat suggereert dat de prijs niet in verhouding staat tot de geleverde waarde. Tot slot wordt ook expliciet vermeld dat het product "definitely not worth the price tag" is, waarmee wordt aangegeven dat de prijs in het geheel niet gerechtvaardigd wordt geacht. Samen geven deze teksten aan dat de prijs als te hoog en onvoldoende gerechtvaardigd wordt ervaren.
De verzamelde teksten beschrijven verschillende positieve perspectieven op klantenservice. Ten eerste wordt de behulpzaamheid van de klantenservice benadrukt, zoals in de uitspraak dat "de customer service was very helpful". Daarnaast wordt het efficiënte karakter van de ondersteuning genoemd, waarbij de klant ervaart dat men "mijn issue in less than five minutes" heeft opgelost. Tot slot wordt het gedrag en de deskundigheid van de medewerker geroemd, zoals blijkt uit "the agent was patient and knowledgeable". Samen geven deze uitspraken een beeld van een klantgerichte, snelle en deskundige service.
De verzamelde teksten geven verschillende negatieve ervaringen met klantenservice weer. In de eerste tekst wordt aangegeven dat er geen reactie werd ontvangen na het sturen van een bericht: "i sent a message to the company and they never replied." De tweede tekst beschrijft een telefonische hulpvraag waarbij de medewerker als onvriendelijk werd ervaren: "they were very rude." De derde tekst vat de algemene beleving samen als een "worst customer support experience ever," wat een sterk negatieve totaalindruk uitdrukt. Samen illustreren deze uitspraken uiteenlopende vormen van ontevredenheid binnen het thema klantenservice.
De teksten geven een overwegend positieve indruk van de verzendsnelheid en -tijd. Zo wordt de verzending als "zeer snel" ervaren, wat suggereert dat klanten de levertijd als kort en efficiënt beoordelen. Daarnaast benadrukt een andere tekst dat het product "aan mijn deur was voordat ik knipperde," wat een gevoel van onverwacht snelle levering uitdrukt. Tot slot wordt ook vermeld dat het product "eerder dan verwacht" arriveerde, wat wijst op een positieve verrassing ten aanzien van de geanticipeerde levertijd. Al deze perspectieven wijzen op tevredenheid over de snelle en tijdige bezorging.
In de teksten wordt duidelijk een negatieve ervaring gedeeld over de verzendsnelheid en -tijd. Zo wordt aangegeven dat "the product took 3 months to arrive," wat wijst op een aanzienlijke vertraging en ontevredenheid met betrekking tot de levertijd. Dit illustreert een perspectief waarin de lange wachttijd als problematisch wordt gezien, wat mogelijk invloed heeft op de algehele waardering van de dienstverlening.
De teksten geven een kritisch perspectief weer op de ordertracking, waarbij de gebruikerservaring als negatief wordt beoordeeld. Er wordt specifiek aangegeven dat de "order tracking was inaccurate and confusing," wat wijst op problemen met zowel de nauwkeurigheid als de begrijpelijkheid van het ordervolgsysteem. Deze feedback onderstreept dat het huidige systeem niet voldoet aan de verwachtingen van de gebruikers wat betreft betrouwbaarheid en gebruiksvriendelijkheid.
De teksten geven een negatieve kijk op productverpakking, waarbij vooral het aspect van beschadiging bij levering wordt genoemd. Zo wordt vermeld dat "the package was damaged when it arrived," wat wijst op problemen met de bescherming van het product tijdens transport of onvolkomenheden in het verpakkingsmateriaal. Deze kritiek benadrukt het belang van stevige en betrouwbare verpakking om schade te voorkomen en de productkwaliteit bij ontvangst te waarborgen.